แท็ก

#Scale AI

2 บทความ

OpenAI ตรวจสอบ SWE-Bench Pro แล้วถอนคำแนะนำตัวเอง — พบราว 30% ของโจทย์ 'พัง' จนคะแนนเชื่อไม่ได้
งานวิจัย

OpenAI ตรวจสอบ SWE-Bench Pro แล้วถอนคำแนะนำตัวเอง — พบราว 30% ของโจทย์ 'พัง' จนคะแนนเชื่อไม่ได้

OpenAI เผยผลตรวจสอบเบนช์มาร์ก SWE-Bench Pro ของ Scale AI พบว่าราว 30% ของโจทย์ในชุดสาธารณะ 731 ข้อมีข้อบกพร่องเชิงออกแบบ — เทสต์เข้มเกินไป, โจทย์ระบุไม่ครบ, เทสต์ครอบคลุมไม่พอ, และคำสั่งขัดแย้งกันเอง — จนบริษัทถอนคำแนะนำเดิมที่เคยบอกให้วงการใช้เบนช์มาร์กนี้เป็นตัวหลักวัดความสามารถด้านโค้ด

· อ่าน 6 นาที
Scale AI เปิด VeRO: ให้ 'เอเจนต์นักปรับ' ไปแก้เอเจนต์อีกตัวเอง — ดันคะแนน tool use ขึ้นได้ถึง 19 จุด แต่ 'ยกระดับการให้เหตุผล' ยังทำไม่ได้
งานวิจัย

Scale AI เปิด VeRO: ให้ 'เอเจนต์นักปรับ' ไปแก้เอเจนต์อีกตัวเอง — ดันคะแนน tool use ขึ้นได้ถึง 19 จุด แต่ 'ยกระดับการให้เหตุผล' ยังทำไม่ได้

Scale AI เปิดตัว VeRO (Versioning, Rewards, and Observations) กรอบที่ให้ 'เอเจนต์นักปรับ' เข้าไปแก้ส่วนต่าง ๆ ของเอเจนต์เป้าหมาย — ทั้งการใช้เครื่องมือ, จัดการไฟล์, ค้นหา, และ logic เวิร์กโฟลว์ ได้กำไรบน GAIA สูงสุด 19 จุด แต่พบขีดจำกัดชัด: ปรับ 'การให้เหตุผล' ที่ถูกจำกัดด้วยโมเดลฐานไม่ได้ และการแก้เชิงโครงสร้างทนกว่าการแก้แค่ prompt

· อ่าน 5 นาที